Vigilancia de IA no salvará a tus hijos: Control de chat que vuelve a criar la cabeza

El espectador de la ansiedad de masas sigue mirando sobre Europa. A pesar de todos los avances realizados por la Ley General de Protección de Datos (GDPR), evitar el cifrado de datos sigue siendo un objetivo.

Por desgracia, es demasiado común que las violaciones de nuestras libertades civiles se cuelguen ellos mismos en promesas de protegernos de los monstruos. La propuesta de la UE para el “Reglamento por el que se establecen normas para prevenir y combatir el abuso sexual de menores”. Una regulación, o CSAR) es un caso impresionante. El reglamento ha vuelto a someterse a votación en el Parlamento Europeo esta semana. Afortunadamente, ayer se pospuso finalmente debido a la controversia en torno a lo que los defensores de la privacidad están llamando posiblemente "el proyecto de ley de la UE más criticado de todos los tiempos".

Captura de pantalla tomada el 21 de junio de 2024

CSAR esencialmente proporciona a los clientes web una tecnología de vigilancia impulsada por la AIE para socavar el cifrado que protege los archivos personales y las comunicaciones de todos. Todo esto en nombre de la lucha contra el abuso sexual de menores, pero no se deje engañar por este lobo con ropa de oveja. A los ciudadanos de la UE se les da una falsa opción: ¿las comunicaciones privadas o los depredadores sexuales? Afortunadamente, muchos de ellos, incluidos los del núcleo de Nym y la comunidad, se manifiestan con urgencia en su contra.

El equipo de Nym ha estado siguiendo de cerca el avance progresivo de las versiones 1.0 y 2.0 de "Control de Chat" desde su creación en 2022. Una vez más, está buscando un debate y una posible votación con un lenguaje engañosamente revisado. Sin embargo, los cambios simplemente amortiguan el tono de su estrategia de vigilancia masiva. Todo esto no es más que un truco de mano para intentar eludir los compromisos del RGP a fin de proteger el cifrado de datos de punto a punto. Mientras que el cifrado puede dejarse sin tocar por CSAR, Se propone una puerta trasera más ominosa sobre el cifrado que llevaría a cabo una vigilancia aún más profunda en masa.

A continuación se muestra lo que está en juego en la propuesta de la RAE y por qué constituye una amenaza para la privacidad en línea de todos los ciudadanos de la UE y de todo el mundo.

¿Qué es el control del chat?

La legislación CSAR, que ha llegado a ser conocida por los críticos como "control de chat, es un intento regulatorio de localizar y bloquear el tráfico de pornografía y abuso infantil “antes de la transmisión”. Aunque pocos deberían estar en desacuerdo con el objetivo, los expertos han estado [gritando desde los tejados] (https://threema.ch/en/blog/posts/stop-chat-control) que la regulación propuesta simplemente no será efectiva. Peor aún, autoriza y impone una puerta trasera de vigilancia en los dispositivos de todo un continente de usuarios.

Escaneo lateral del cliente farmacéutica)

La solución propuesta por la CSAR al problema del material de abuso sexual infantil (de lo contrario llamado CSAM) es la vigilancia masiva a través de [Client-Side SideS)] (https://arxiv.org/pdf/2110.07450). En lugar de comprometer las transmisiones cifradas, esencialmente escanea datos en dispositivos o servidores antes de que se produzca el cifrado. Esto socavaría la seguridad de las comunicaciones y los principios de cifrado extremo a extremo para todos.

Encryption es la piedra angular de la comunicación segura. Cuando haces algo en línea a través de una conexión cifrada — enviando fotos personales a amigos o familiares. o usando su tarjeta de crédito en línea — puede estar razonablemente seguro de que las partes externas no pueden acceder o explotar sus datos. Los esfuerzos originales de CSAR esperaban obligar a los servicios web a romper el cifrado protegiendo los contenidos de las comunicaciones de los clientes. Con el cifrado roto, todos los mensajes podían ser escaneados por material específico. Afortunadamente esto se encontró con una gran reacción violenta de la sociedad civil y los defensores de la privacidad.

Lo que se está proponiendo actualmente son tecnologías CSS que permitirían legalmente y permitirían a los servicios web escanear o “supervisar” los archivos y comunicaciones de su dispositivo antes incluso de que se aplique el cifrado. Imagina que Apple es capaz de escanear regularmente tus aplicaciones iPhoto o iMessenger en busca de puntos de datos preprogramados considerados como una amenaza. O que un servicio de comunicaciones privadas reciba la orden _legal para hacerlo. De hecho, El presidente de Signal ha [declarado públicamente] (https://x.com/mer__edith/status/1796508893822238881) que retirará sus servicios de las jurisdicciones de la UE en lugar de permitir tal compromiso sobre la seguridad de sus usuarios.

Captura de pantalla tomada el 21 de junio de 2024

Científicos afirman que la tecnología CSS “ha fallado profundamente”,

Cualquier programa de escaneo de vigilancia debe buscar algo en particular. La gran pregunta es: ¿puede encontrar de manera discernible sus objetivos sin transportar datos no relacionados? En el caso de CSAR, el objetivo indicado es escanear los dispositivos de los usuarios en busca de instancias potenciales de CSAM. Esto significa, por ejemplo, fotos que representan a los niños desnudos o sexualmente, o mensajes que describen tales actos. Pero, ¿cómo funcionaría esto exactamente?

Esencialmente, un programa de análisis de datos probablemente impulsado por AI tendrá acceso al contenido no cifrado de todos en un dispositivo o servidor. El sistema reportará cantidades masivas de amenazas potenciales basadas en puntos de datos antes de enviar todos los casos a un equipo humano para su verificación. Este equipo tendrá acceso a sus archivos y comunicaciones personales para determinar si ha hecho algo mal. El contenido o la actividad sospechosos se transmitirán a las autoridades policiales para que investiguen más a fondo.

Los investigadores han sido muy vocal en advertencia de lo propenso que puede ser esta tecnología, tanto técnicamente hablando como en detrimento de las libertades civiles. Imagina un falso-positivo, donde las fotos personales de los padres de sus hijos están marcadas por un algoritmo y luego son vistas y revisadas por los analistas antes de ser transmitidas al cumplimiento de la ley. Los científicos de datos tienen warned que ese "escaneo está condenado a ser inefectivo. y hecho a gran escala creará “efectos secundarios que pueden ser extremadamente perjudiciales para todos en línea y que podrían hacer que Internet y la sociedad digital resulten menos seguros para todos”.

Línea de tiempo

La RAE ha estado pasando por el Parlamento de la UE desde su introducción en 2022. Esta semana se remonta a un debate estratégicamente programado bajo el radar de las recientes elecciones parlamentarias. Aquí está la línea de tiempo clave para ver su avance, los cambios y el estado actual.

• 11 de mayo de 2022: Se ha introducido la propuesta CSAR.
• Junio de 2022: Se reveló que el actor de Hollywood Ashton Kutchner había estado trabajando con la Comisaria de Asuntos del Interior, Ylva Johansson cabildeando para la entonces llamada CSAR, en beneficio de Thorn, una organización que cofundó. Espina vende las herramientas de IA que se usarían para escanear los dispositivos de las personas. (Kutchner destituyó más tarde como presidente de Thorn después de defender a un violador convicto).
• 13 de abril de 2023: Se presentó a la Comisión de Libertades Públicas del Parlamento Europeo un informe encargado por el Parlamento Europeo sobre el impacto de la propuesta de la RAE Justicia y Asuntos Interiores.
• Julio de 2023: Carta abierta de 465 firmantes científicos y de investigación se envía a la comisión de la UE. Los científicos advierten explícitamente contra las probables ineficiencias de las tecnologías propuestas y su socavamiento de “un futuro digital seguro para nuestra sociedad” y “procesos democráticos en Europa y más allá”.
• 2 de mayo de 2024: Se envía a la UE una nueva carta abierta de 312 científicos e investigadores de 32 países. Reiteran que los cambios en el lenguaje de la propuesta de la RAE no cambiarán la tecnología “profundamente defectuosa” y peligrosa. La carta es coautorizada por Bart Praneel, defensor de la privacidad, profesor y asesor de Nym Tech.
• 13 de febrero de 2024: Ruling por el Tribunal Europeo de Derechos Humanos en Podchasov v. Rusia enfatiza el papel del cifrado extremo a extremo para “asegurar y proteger la privacidad de las comunicaciones electrónicas” y asegurar “el disfrute de otros derechos fundamentales”. como la libertad de expresión”.
• 20 de junio de 2024: El debate y la votación sobre la RAC revisada es scheduled después del aplazamiento (véase el punto 28 en “Justicia e Interiores”). ¡Finalmente se ha cancelado el voto!

Es importante señalar que el documento de la RAE es una propuesta legislativa y no tiene ningún efecto jurídico a menos que sea aprobado por el órgano parlamentario. No obstante, es importante que los ciudadanos de la UE se pongan en contacto con sus representantes y protesten contra estos esfuerzos por violar las libertades civiles.

Juegos de lenguaje legislativos

La forma en que se expresan las cosas en el lenguaje puede tener efectos significativos sobre nosotros: un giro atrayente de la frase puede hacernos querer algo que probablemente no, o desvíanos hacia algo que realmente no es tan malo. A veces, la frase puede ser tan monótona y abstracta que ni siquiera nos damos cuenta de que lo que estamos digeriendo una píldora venenosa.

Introduzca la última propuesta de la CSAR para “tecnologías para moderación de la subida”. Al leer cientos de páginas de reglamentos parlamentarios, frases como esta pueden pasar desapercibidas fácilmente, que es exactamente para lo que están diseñados. ¿Qué significa exactamente?

Captura de pantalla tomada el 21 de junio de 2024

Separémoslo.

[1] “Proveedores de servicios de comunicaciones interpersonales” significa cualquier servicio web que maneja sus comunicaciones digitales con otras personas. Se trata de un ámbito amplio. Se aplica claramente a aplicaciones de mensajería como WhatsApp, incluso a aplicaciones centradas en la privacidad y cifradas como Signal. Pero también se aplica a compañías más grandes como Apple que ofrecen servicios de fotos y mensajería, por no hablar de sistemas operativos.

[2] El ordenamiento jurídico de “deberán instalar y operar” estas tecnologías CSS implica que los servicios de comunicaciones no sólo podrán hacerlo, sino que deben (o “deberán”) hacerlo.

[3] Este es el quid de la cuestión: detectar el objeto de vigilancia [4] “antes de la transmisión” significa antes del cifrado. Una vez que el cifrado está en su lugar, la detección de cualquier material digital buscado requeriría un cifrado de ruptura, que no está sobre la tabla. Por lo tanto, esta tecnología equivale a la exploración masiva de dispositivos, que sólo los proveedores de dispositivos o los operadores de aplicaciones y servicios web pueden realizar en nombre de las autoridades. Dado que el objetivo de los datos cifrados es proteger contra el acceso de terceros, esta tecnología es esencialmente una puerta trasera al cifrado.

[4] Si bien el objetivo de este escaneo bien podría ser la detección de CSAM, localizarlo significa que los programas de IA primero tienen acceso a todos nuestros datos o comunicaciones. En primer lugar, existe una gran diferencia entre el “material conocido de abuso sexual de menores” (por ejemplo, una foto o vídeo ya identificados por las autoridades) y un “nuevo material de abuso sexual infantil”. Con este último, las capacidades de cualquier programa de AI-son capaces de cometer errores tremendos al distinguir entre la pornografía infantil y las fotos familiares privadas sin intención sexual.

Así, pues, “subir moderación”, que suena tan novedoso como “asegurarse de que la gente sólo publique una cantidad razonable de material en línea en realidad significa “vigilancia de datos permitidos por AI” en todos los dispositivos de los usuarios antes del cifrado para fines de aplicación de la ley”. Añada a esta “tecnología” “no probada” y “científicamente improbable y proclive a errores” y estamos más cerca de la verdad.

¿Romper el cifrado o quitarlo de atrás?

Gran parte del contragolpe contra la CSAR se ha manifestado en torno a si “romper” el cifrado de extremo a extremo para las transmisiones de datos. El cifrado de datos fue protegido por el RPDD y recientemente reforzado por la reciente decisión del Tribunal Europeo de Derechos Humanos en Podchasov contra Rusia (2024). Como Meredith Whittaker, el Presidente de la Signal, tiene noted, esto no significa más que un juego en el idioma o una "remarca":

“[M]escaneo masivo andando de las comunicaciones privadas esencialmente minan el cifrado. Punto completo. […] Podemos llamarlo puerta trasera, puerta frontal o «moderación de subida». Pero como lo llamemos, cada uno de estos enfoques crea una vulnerabilidad que puede ser explotada por hackers y estados nación hostiles. eliminar la protección de matemáticas irrompibles y poner en su lugar una vulnerabilidad de alto valor”.

Al permitir a los servicios web que facilitan nuestros datos escanearlos todo en nuestros dispositivos o en sus servidores antes de que se aplique cualquier cifrado durante la transmisión no es técnicamente "romper el cifrado". De hecho, es mucho peor: una puerta trasera para algoritmos de IA automatizados que desempeñen un papel de vigilancia intermediaria en la conexión de nuestros datos personales con las autoridades.

La propuesta CSAR tiene muchos elogios contradictorios por el valor del cifrado punto a punto:

"[E]el cifrado inmediato", admite la CSAR, "es un medio necesario para proteger los derechos fundamentales y la seguridad digital de los gobiernos, la industria y la sociedad".

Y, sin embargo, lo que está intentando crear socavaría explícitamente la misma privacidad de datos que el cifrado de datos pretende proteger. La vigilancia o tecnología de “monitoreo”, la propuesta deja claro (26a),

"asegura que el mecanismo de detección pueda acceder a los datos en su forma no cifrada para un análisis y acción eficaces, sin comprometer la protección proporcionada por el cifrado de punto a extremo una vez que se transmite los datos”.

Cómo la vigilancia puede "acceder a los datos en su forma no cifrada […] sin comprometer el cifrado de extremo a extremo es una pieza brazen de mierda.

Consentimiento de usuario

Otro gran cambio en la propuesta de la RSE es que se debe pedir a los usuarios que aprueben el uso de estas tecnologías de vigilancia:

“El material de abuso sexual de menores debe seguir siendo detectable en todos los servicios de comunicaciones interpersonales a través de la aplicación de tecnologías veterinarias. al subir, bajo la condición de que los usuarios den su consentimiento explícito bajo los términos y condiciones del proveedor”.

¿Qué significa esto exactamente? Cualquier usuario que no dé su consentimiento a que sus datos escaneados todavía puede usar el servicio web, siempre y cuando “no implique el envío de contenidos visuales y URLs.” Esto puede hacer que muchos servicios de comunicación sean inoperantes. Así que imagínense que quieren una aplicación privada de mensajería, pero la UE les obliga a escanear sus datos de antemano, y se niegan por una buena razón. Dado que la aplicación también permite el envío de fotos y enlaces, simplemente no puede utilizar el servicio.

Conclusión

Se ha aplazado la votación sobre la RAE, pero no ha terminado en absoluto. La factura volverá a levantar su fea cabeza tal vez con más revisiones del lenguaje que traten de calmar las aguas para impulsar la vigilancia digital masiva en Europa.

Sin embargo, lo que muchos tienen claro es que este tipo de vigilancia masiva no resolverá el problema. que es un problema social más que técnico. Como Bart Praneel, uno de los asesores cercanos de Nym, tiene commented:

"No está claro por qué algunos gobiernos siguen presionando a favor de este enfoque de vigilancia masiva en lugar de centrarse en la prevención del abuso sexual de los niños".

La lucha contra los niños debe evitarse mediante la financiación de los servicios sociales y otros medios preventivos. Ella Jukubowska y EDri han estado investigando alternativas reales sobre el problema del abuso de CSAM y de menores, en línea y apagado. El abuso no debe utilizarse como un truco cínico de relaciones públicas para romper el cifrado y comprometer la privacidad y la seguridad de toda la población europea en el proceso. Y no deberíamos permitir que los gobiernos violen nuestros derechos a la intimidad por miedo a los monstruos.

Esperemos que este último retraso en la votación sea una señal de que los reguladores están empezando a darse cuenta de este hecho.

Envío de Nym

La serie Nym Dispatch se sumerge profundamente en el ecosistema de privacidad en línea y social. Sintoniza para aprender más sobre los riesgos y tácticas monetarias de la economía de vigilancia en línea, comenzando por el mercado VPN libre. La serie pronto cubrirá las prácticas de registro de VPN libres; sus contratos de consentimiento deliberadamente vagos; cómo, por qué, y a quién venden nuestros datos; y sus prácticas publicitarias invasivas.